CriticOPD：用批评引导重写恢复在线策略蒸馏的可靠监督
🧭 On-policy distillation 可靠监督恢复 ★ 深度解读
Brigham Young University · University of North Carolina at Chapel Hill
教师先批判错误，学生从最后错误处重写；教师带批判评分、学生无批判训练，显著提升数学推理蒸馏效果。
📌 工作参考价值（4 点）
- 在电商/Agent 的生成式策略蒸馏中，不要直接对错误的学生轨迹做 token 级教师监督；先让强模型批判错误，截断到最后一个错误后重写，只蒸馏重写 suffix，可避免教师跟错，并保持学生轨迹覆盖。
- 把 critique/reference answer 当 privileged context：教师评分时可见，学生训练和上线都不可见，因此能利用更强反馈而不增加推理时延或 prompt 长度；适合有可验证结果的任务，如 query 改写是否召回商品、结构化生成是否符合 schema、生成代码单测。
- 若业务没有 reference answer，可用 reward model、人工反馈或转化标签替代，但批判质量决定收益；论文显示 73–81% 的 valid error flags 即可带来显著提升。
- 选择“只监督重写后缀、保留错误前缀”的做法，比提前截断或教师接管更接近推理分布；在在线学习或 agent 轨迹蒸馏时可作为降低 occupancy mismatch 的工程原则。
自教师与学生同步：联合在策略学习与教学
🧭 LLM 强化学习 · 自蒸馏训练 ★ 深度解读
Perplexity · NVIDIA
提出JOLT联合训练特权教师与无特权学生，使蒸馏梯度与奖励梯度一致，提升样本效率和最终性能
📌 工作参考价值（4 点）
- 在训练LLM-based推荐/搜索/Agent模型时，若存在特权信息（如用户真实反馈、人工标注、高质量参考），可采用JOLT模式：同一模型联合训练特权教师和无特权学生，教师用KL正则化向学生，避免教师走捷径导致蒸馏信号与奖励梯度相悖。
- 对于稀疏奖励的长程任务（如多轮对话推荐、会话转化优化），JOLT的密集token级监督可大幅提高样本效率；教师可接收用户反馈摘要、历史成功策略等作为privileged context。
- 工程实现简单：共享参数的教师和学生分别生成轨迹，使用logprob ratio作为token权重，结合group advantage归一化，无需额外教师模型。
- 超参数经验：教师KL β_T 和学生蒸馏 β_S 宜设较小值（如β_T=0.001~0.03, β_S=0.1），过大会训练不稳定；学生奖励可用时，JOLT+补充直接RL可进一步提升。
缺失的原语：诊断与修复大语言模型数学推理
🧭 数学推理诊断与后训练蒸馏 ★ 深度解读
Texas A&M University · Harvard University · Vanderbilt University · Stanford University · DARPA
提出 Mathematical Primitive 与 PRIM benchmark 诊断结构性理解，并用 ABSORB 蒸馏框架提升推理
📌 工作参考价值（4 点）
- 在推荐/Agent 场景中，把复杂推理拆成「意图/结构发现」与「执行/生成」，用诊断 benchmark 定位瓶颈是 discovery 还是 execution。例如 query 推荐中区分「用户意图识别」与「候选生成/排序」，不要只看最终指标掩盖能力差异。
- 做 privileged information 蒸馏时，教师侧不要给完整 solution，而是给 concise structural hint（如 query 的语义类目、用户意图标签、商品属性约束），并采用 bounded override / one-sided clamp 限制教师过度覆盖学生自身策略，减少已解决 case 的回退。
- 后训练样本优先选择 discovery-limited failures：模型拿到正确 hint 就能解的问题，修复收益约为联合失败 case 的 3 倍。对应推荐系统中可优先构造「给了正确类目/意图就能推对」的 hard case 用于 SFT 或蒸馏。
- 评估体系增加结构性理解维度（如能否从完整 session 中识别核心购买动机），避免单纯 final answer accuracy 掩盖模型能力画像差异，尤其在迭代模型版本时用于回归监控。
ReSAIL：缓解迭代智能体自蒸馏性能崩溃
🧭 Agent 自蒸馏训练稳定化
Gaoling School of Artificial Intelligence, Renmin University of China
提出 ReSAIL 插件，通过选择特权信息影响大的步骤蒸馏并保持特权条件分布，平均提升 22.5% 成功率
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的迭代自蒸馏训练中，若教师有特权信息（如用户真实意图、后续转化、库存），避免直接用线上部署轨迹蒸馏，可借鉴 ReSAIL：选择 PI 影响大的步骤蒸馏，并用教师 PI 条件输出作为正则，稳定多轮迭代。
- 离线数据选择可用 sensitivity 指标：计算 teacher 在有无 PI 下输出分布差异，筛选差异大的交互步骤，提升数据效率，减少无效样本。
- 工程实现上，在学生训练 loss 中加入与冻结 teacher 的 KL 散度（针对 PI 条件分布），即使部署时无 PI 也能保持隐式行为一致性，防止下一轮 teacher 退化。
- 对搜索推荐中的 query 改写/推荐解释 Agent，若使用 oracle 信息（点击/购买标签）自蒸馏，可沿用“保留特权行为”思想，避免多轮迭代后策略漂移。
PRISM：特权兄弟图引导的多智能体拓扑设计
🧭 多智能体拓扑设计 · 特权蒸馏 ★ 深度解读
National University of Singapore
利用同一 query 的其他成功拓扑作为特权输入，通过 on-policy 蒸馏改进多智能体拓扑生成器后训练
📌 工作参考价值（4 点）
- 如果业务中已有 execution-verified 轨迹/方案语料，但只有成功与否、没有显式排序，不要直接继续 SFT 到高频解；可以借鉴 PRISM，用同一请求/用户的其他成功解作为训练期特权输入，让学生模型在自己的采样轨迹上做 on-policy 蒸馏，保持多样性并提升 query-specific 效果。
- 推荐/搜索后训练常受 exposure bias 困扰：离线伪标签与线上自回归生成分布不一致。PRISM 的做法是学生按当前策略采样 M 条轨迹，教师在访问状态上给出决策级软标签，且用 reverse KL 鼓励模式集中，这比 forward KL/JSD 在数学类任务上平均更高；适合有多个成功解、需要模型收敛到某个模式而非平均的场景。
- 特权信息分支采用 zero-initialized FiLM + low-rank（rank=16）控制参数，训练后丢弃，部署结构不变、推理成本几乎不增；电商/广告中可将训练期才有的完整用户行为、后验转化信号、专家标注等作为特权输入，蒸馏进部署模型。
- 做消融时建议同时跑 constant teacher 和 shuffled teacher 对照，分离“蒸馏过程收益”和“特权内容收益”；PRISM 显示 shuffled 甚至会误导，constant 蒸馏只带来部分提升，真实 sibling 内容贡献额外 +1.66% 平均准确率，这种拆解对评估训练技巧很有用。
校准教师-学生差异的在线策略蒸馏
🧭 LLM 在线策略蒸馏 · 教师偏差校准
Nanjing University · Southeast University · Nanjing University of Posts and Telecommunications
提出 Cal-OPD，用正负特权干预估计教师自身偏差区域，只保留超出的差异作为训练信号
📌 工作参考价值（3 点）
- 在业务中用大模型（teacher）蒸馏线上小模型做排序/召回/文案生成时，教师输出里混有自身偏差，尤其当输入包含特权信息（如用户真实意图、后验成交标签）时偏差更大；不要全盘学习教师输出，可借鉴 Cal-OPD 思路，通过正向/负向干预构造参考区间，只保留超出该区间的差异作为学习目标。
- 对推荐/广告场景里的生成式特征（如 query 改写、兴趣标签、商品卖点）进行蒸馏时，可以先用提示词注入正确与错误上下文，观察教师输出变化来定位不稳定区域，只对稳定差距做蒸馏，减少噪声传播。
- 实验表明只保留约 52-65% 的原始差异信号就能稳定超越标准 OPD，说明蒸馏数据不是越多越好，过滤掉教师自身波动能提升小模型泛化和训练效率，可指导工程上对蒸馏样本的筛选策略。
协调过程监督与结果奖励信用：智能体策略优化 TASPO 框架
🧭 Agent RL 信用分配优化 ★ 深度解读
Zhejiang University
TASPO 用轨迹对齐的特权信息在动作粒度重新分配 GRPO 结果优势，使过程监督不改变结果奖励方向
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 的 RL 训练中，若只有订单、成交等稀疏最终奖励，不要直接把历史成功轨迹作为 teacher 做 SFT/蒸馏目标；可以先离线提取「条件规则/证据」并只对当前会话路径匹配，保留适用的特权指导，否则回退 GRPO，这样能避免无关路径信息带来的梯度冲突。
- 信用分配粒度应放在可执行动作（query、工具调用、商品筛选、消息推送等）而非 token 粒度；把 token 概率变化聚合成 action 级分数、再做 trajectory 内去均值与 tanh 重加权，可显著降低训练方差、提升收敛稳定性，并减少成功轨迹所需交互步数。
- 如果团队已有 GRPO 训练流程，TASPO 的改造很轻：只把 trajectory advantage A_i 换成 eA_i = A_i * w_i，保持 w_i 为正、有界 [1-ε,1+ε]、均值 1。这样 outcome 决定方向与平均更新力度，过程信号只做分配，避免了新增蒸馏 loss 和目标冲突，无需额外环境交互。
- 构造 PI 的外部 analyzer 可以是 frozen 大模型，且对模型选择不敏感（DeepSeek/GLM/Qwen 等差异小），工程上可以低成本复用；但前提是必须从 verified successful sibling rollouts 提取证据，并对目标 trajectory 做显式匹配。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
下一帧截图知道答案：门控后见蒸馏训练移动GUI代理
🧭 GUI Agent · 后见知识蒸馏 ★ 深度解读
电子科技大学
利用下一帧截图作为特权信息，通过门控蒸馏将未来知识注入前缀策略，显著提升GUI代理任务成功率。
📌 工作参考价值（4 点）
- 序列决策任务（如推荐多轮交互）中，可模仿GHD，将用户事后真实行为（点击、购买）作为“未来状态”，通过teacher-student蒸馏，将事后知识注入仅依赖当前上下文的前缀策略，提升决策合理性。
- 门控机制“仅学生犯错且教师纠正时蒸馏”能有效过滤噪声样本，保证蒸馏信号的可靠性；类似地在推荐agent训练中，可只蒸馏那些模型在当前状态下给出差动作而事后信息能给出更好动作的case。
- 将强化学习（GRPO）与token级分布蒸馏结合，提供稠密的token级监督，比传统基于动作标签的模仿学习更高效；该训练范式可迁移到任何需自然语言推理+行动的agent场景。
- 动态采样（最多三次尝试寻找有效蒸馏样本）在不大幅增加训练开销的情况下显著提升有效监督密度，适合在离线数据有限时提升RL训练效率。
观察校准自蒸馏：解耦智能体强化重放信号的混杂因子
🧭 Agent 强化学习 · 令牌级信贷分配 ★ 深度解读
Meituan LongCat Interaction · Nanjing University · Peking University · McMaster University · Fudan University
通过对比含/不含未来观察的结构化重放视图消除支架混杂，为GRPO提供校准的令牌级更新信号
📌 工作参考价值（4 点）
- 特权重放信号的混杂控制：在使用未来反馈或后见之明信息进行令牌级监督时，可构造“完整视图”与“消融视图”（如仅屏蔽关键未来信息，保持格式、动作支架一致），取两者分数差作为残差，剔除由重放格式、支架引入的偏好偏移，从而使特权信号更干净地归因于目标信息。
- 选择性校准高不确定步骤：按旧策略的序列平均负对数似然排序，只对每个轨迹中前20%高困惑度步骤施加令牌级精细化信号，既能提供有效指导，又避免对低价值步骤引入噪声，提升训练效率与稳定性（计算开销仅增1.4%）。
- 保向调幅的集成方式：在政策优化时保持原始轨迹级优势的方向不变，仅用校准信号按比例缩放更新强度（如 \(bA_{text{cal}} = bA \cdot (1+\beta \cdot \text{sgn}(bA) \cdot q)\)），易于嵌入现有GRPO/PPO框架，无需额外损失项或辅助目标。
- 适用于多步交互型Agent：该思路可直接迁移至对话推荐、搜索代理等多轮交互场景，利用后续用户反馈或环境状态构建结构化对比视图，实施步骤级信用分配，提升策略学习对关键行动环节的敏感度。
从未来学习：时序推荐的特权自蒸馏
🧭 序列推荐 · 自蒸馏与特权信息利用
Renmin University of China · National University of Singapore · Alibaba Group
将未来交互作为训练特权信息，通过双视图自蒸馏提升序列推荐性能，不增加推理成本
📌 工作参考价值（3 点）
- 在训练序列推荐模型时，可利用用户完整会话中的后置交互作为特权信息，构建双视图自蒸馏：一个掩码看到未来项（教师），另一个只看历史前缀（学生），共享同一 backbone，蒸馏后不改变推理模型与成本，适合对延迟敏感的电商场景。
- 动量平均教师（EMA）和优势可达门控是两个关键稳定性 tricks：EMA 教师参数随学生缓慢更新，避免噪声；可达门控根据历史前缀判断未来项是否可达，自适应加权蒸馏损失，能防止强制学习不可达的未来，可迁移到其他 teacher-student 蒸馏任务。
- 该方法可叠加到任意因果注意力序列模型（如 SASRec）上，无需单独预训练教师，端到端单阶段训练，工程实现成本低：仅需在数据加载时保留多步未来，并在 attention 层插入一个额外的未来感知掩码，适合快速实验。